在本文中，我们研究了具有N节点的目标两层神经网络的压缩到具有M <n节点的压缩网络中。更确切地说，我们考虑目标网络权重为I.I.D的设置。在高斯输入的假设下，次高斯次级高斯，我们最大程度地减少了目标和压缩网络的输出之间的L_2损失。通过使用高维概率的工具，我们表明，当目标网络充分过度参数化时，可以简化此非凸问题，并提供此近似值作为输入维度和N的函数。平均场限制，简化的目标以及压缩网络的最佳权重不取决于目标网络的实现，而仅取决于预期的缩放因素。此外，对于具有relu激活的网络，我们猜想通过在等缘紧密框架（ETF）上取重量来实现简化优化问题的最佳，而权重的缩放和ETF的方向取决于ETF的方向目标网络。提供数值证据以支持此猜想。
translated by 谷歌翻译